DiPIR es una tecnología innovadora que resuelve el desafío de insertar objetos virtuales sin problemas en escenas reales. Combina modelos de difusión a gran escala con un proceso de renderizado inverso basado en la física para recuperar con precisión la información de iluminación de una sola imagen, logrando una fusión natural entre el objeto virtual y el entorno. El flujo de trabajo de DiPIR incluye la construcción de una escena 3D virtual, la simulación de la interacción entre el objeto y el entorno, y la optimización de las condiciones de iluminación mediante un modelo de difusión para asegurar que la imagen generada se ajuste a la escena real. Su principal ventaja radica en su amplia aplicabilidad, ya que funciona en escenas con diferentes condiciones de iluminación y genera imágenes realistas.

Un equipo de investigación presenta IllumiNeRF, un método más sencillo que primero utiliza un modelo de difusión de imágenes condicionales a la iluminación para reiluminar cada imagen de entrada, y luego reconstruye un campo de radiación neuronal (NeRF) a partir de estas imágenes reiluminadas para representar nuevas perspectivas bajo la iluminación deseada. Demuestran que esta estrategia es sorprendentemente competitiva y logran resultados de vanguardia en varios benchmarks de reiluminación.